李小胜，安徽财经大学统计系，写了一篇很简洁的贝叶斯计量经济学的论文。这篇论文质量不高，里面还有些小地方有纰漏。

周亮，韩玉启，朱慧明写的一篇《正态线性单方程计量经济模型的Bayes统计推断》倒是被引用多次，介绍了回归分析里面最简单的贝叶斯分析。朱慧明写了很多贝叶斯的文章，感觉还不错。

---

贝叶斯技术已经大量应用在各门科学当中，而把贝叶斯理论应用到计量经济学，是上世纪60年代以来在一大批统计学家和计量经济学的共同努力下，迅速发展起来的。Zellner的《An Introduction to Bayesian Analysis in Economics》一书的出版标志着贝叶斯计量经济学的真正诞生，该书较为全面地阐述了贝叶斯计量经济学的大多数专题。

面板数据在计量经济学中称为Panel Data，而在统计学中称为Longitudinal Data。

将含有$k$个外生变量，n条观测的随机方程用矩阵的形式表示如下：

$$\begin{equation} Y=X\beta+U \\ U \sim N(0,\sigma^2I_n) \end{equation}$$

显然，$\beta$的OLS估计为$\hat{\beta}=(X’X)^{-1}X’Y$，其协方差矩阵为

$$\begin{split} var(\hat{\beta})&=var((X'X)^{-1}X'(X\beta+U)) \\ &=var((X'X)^{-1}X'U) \\ &=(X'X)^{-1}X'\sigma^2I_nX(X'X)^{-1} \\ &=\sigma^2(X'X)^{-1} \\ \end{split}$$

方差$\sigma^2$已知时参数的后验分布

假设方差$\sigma^2=\sigma_0^2$已知，则有

$$\begin{equation} f(Y|X,\beta)=\prod_{i=1}^nf(y_i|x,\beta) \propto exp\{ -\frac{1}{2\sigma_0^2}(Y-X\beta)'(Y-X\beta)\} \end{equation}$$

在无$\beta$先验信息的情况下，取其先验分布密度$\pi(\beta)$为模糊先验，即$\pi(\beta) \propto constant$，结合(3)式可知$\beta$的后验密度为

$$\begin{equation} \pi(\beta|X,Y) \propto exp \{ -\frac{1}{2\sigma_0^2} (\beta-\hat{\beta})'(X'X)^(\beta-\hat{\beta})\} \end{equation}$$

要证明上式，首先注意到$(\beta-\hat{\beta})’\Sigma(\beta-\hat{\beta})=\beta’\Sigma\beta-2\hat{\beta}’\Sigma\beta+\hat{\beta}’\Sigma\hat{\beta}$，这将有助于我们从右边往左边凑出常见的一个矩阵形式。

(2)式的正态核只关心对$\beta$展开（忽略其他部分）可以得到

$$exp\{(Y-X\beta)'(Y-X\beta)\ \} \propto exp\{Y'Y-2Y'X\beta+\beta'X'X\beta \}$$

已经有$\Sigma=X’X$，令$2\hat{\beta}’\Sigma\beta=2Y’X\beta$，可以得到$\hat{\beta}=(X’X)^{-1}X’Y$，则

$$exp\{(Y-X\beta)'(Y-X\beta)\ \} \propto exp\{(\beta-\hat{\beta})'(X'X)(\beta-\hat{\beta}) \}$$

因此，$\beta$的后验期望为OLS估计值$\hat{\beta}=(X’X)^{-1}X’Y$，协方差阵为$(X’X)^{-1}\sigma_0^2$.

$$\begin{equation} \pi(\beta|X,Y) \propto exp\{\frac{1}{2\sigma_0^2}(\beta-\hat{\beta})'(X'X)(\beta-\hat{\beta}) \} \end{equation}$$

有先验信息的参数的后验分布

若不再假定$\beta$服从模糊先验，而取共轭先验分布—正态分布，即

$$\begin{equation} \pi(\beta|X,Y) \propto exp \{-\frac{1}{2} (\beta-\mu_0)'\Sigma_0^{-1}(\beta-\mu_0)\} \end{equation}$$

其中，$\mu_0$是$\beta$的先验期望，$\Sigma_0$是$\beta$的先验协方差阵。此时，$\beta$的后验分布密度为

$$\begin{equation} \pi(\beta|X,Y) \propto exp \{ -\frac{1}{2}[(A^{\frac{1}{2}}\beta-A^{\frac{1}{2}}\mu_0)'(A^{\frac{1}{2}}\beta-A^{\frac{1}{2}}\mu_0)+(Y-X\beta)'(Y-X\beta)]\} \end{equation}$$

其中$A=\Sigma_0^{-1}\sigma_0^2$，令$W=\begin{bmatrix}
A^{\frac{1}{2}}\mu_0
\\ Y
\end{bmatrix}$，$G=\begin{bmatrix}
A^{\frac{1}{2}}
\\
X
\end{bmatrix}$，则(6)式可以化简为

$$\begin{equation} \pi(\beta|X,Y) \propto exp \{-\frac{1}{2\sigma_0^2}(W-G\beta)'(W-G\beta)\} \end{equation}$$

这就完全等价于式(2)的情况了，后验均值为$(G’G)’GW$，后验方差矩阵为$(G’G)^{-1}\sigma_0^2$，你可以写成更完整的形式。

方差$\sigma^2$未知时参数的后验分布

这一块就有点复杂了。

先引入$(\beta,\sigma)$的模糊先验分布，

$$\pi(\beta,\sigma) \propto \frac{1}{\sigma}$$

易得$(\beta,\sigma)$的联合后验分布密度为

$$\begin{equation} \pi(\beta,\sigma|X,Y) \propto \frac{1}{\sigma^{n+1}} exp \{ \frac{1}{2\sigma^2}(Y-X\beta)'(Y-X\beta)\} \end{equation}$$

对$\sigma$在$(0,\infty)$上积分，得到$\beta$的后验边缘分布密度函数为多元t分布，而对$\beta$积分，可以得到$\sigma$的后验分布密度函数为逆伽马分布。

---

• ← Previous Post
• Next Post →